Міністерство освіти і науки України Національний університет „Львівська політехніка” Кафедра електронних обчислювальних машин Звіт про виконання лабораторної роботи № 1 з курсу „ Теорія колективної поведінки інтелектуальних систем ” Тема: Моделювання середовища Виконав: ст. гр. КІ-4 Львів – 2005  Мета: Реалізувати різні за складністю моделі середовищ та дослідити власну поведінку в цих середовищах. Загальні відомості Процес навчання досліджується шляхом ітераційної взаємодії студента з невідомим наперед типом середовища (одне з чотирьох: статичне детерміноване, динамічне детерміноване, стаціонарне випадкове, випадкове з перемиканням станів). В кожній ітерації взаємодії студент має можливість обрати одну з двох дій (D={1,2}). Реалізувавши цю дію, студент отримує відгук від середовища (R={0,1}). Мета студента – максимізувати сумарний виграш на протязі заданого числа ітерацій взаємодії з середовищем. В процесі взаємодії визначаються три залежності: Залежність біжучого виграшу від часу: R(t). Залежність біжучого сумарного виграшу від часу: R(t) = Rt. Залежність біжучого проценту виграшних дій від часу (середнє значення виграшу, що припадає на одну дію): Ps(t) = Rt / t. Завдання 1. Скласти програму наступного змісту (алгоритм роботи програми): Випадково вибрати тип середовища (env_model) Ініціалізувати середовище (випадкова ініціалізація) Відкрити файл для збереження результатів Цикл від 1 до T (індекс t) Отримати код дії, яку обрав користувач Отримати відгук середовища на цю дію (біжучий виграш) Модифікувати значення сумарного виграшу Модифікувати значення проценту виграшних (правильних) дій Запам’ятати отриманні значення у файлі результатів Перейти на п.4 Закрити файл результатів. 2. Реалізувати моделі наступних типів середовища: 2.1. Статичне детерміноване. 2.2. Динамічне детерміноване. 2.3. Стаціонарне випадкове. 2.4. Випадкове з перемиканням. 3. Дослідити власну поведінку в реалізованих моделях середовища (метою поведінки є отримання максимального сумарного виграшу за найменшу кількість спроб). Отримати вказані залежності від часу для кожного з типів середовища. 4. Порівняти отримані залежності та зробити висновки. Текст програми /* Copyright (c) 2005 alb. All Rights Reserved. * Multiagent systems Lab * Computer Engineering Department * Lviv Polytechnic National University * =============================================== * Multiagent Systems. Lab work 01. Simulating the environment (world models) * With given * set of available actions D={1,2} and * set of possible responses R={0,1} 1 -> reward(win) * 0 -> punishment(loss) * you must maximize sum of rewards over T interaction with unknown environment. */ #include "stdafx.h" int t; // current time step int T = 20; // maximum number of time steps (interactions with environment) int env_model; // environmetn code: // 1 - envoronment with static response // 2 - envoronment with predetermined dynamic response // 3 - envoronment with stationary random response: // binary bandit task (n-armed bandit, n=2) // 4 - envoronment with stationary random response and state switching: // switched random environment // variables for environment's parameters int env1; // winning action code (env_model = 1) int env2_action1; // first winning action code (env_model = 2) int env2_action2; // second winning action code (env_model = 2) int max_period=6; // max period of action repetitions (env_model = 2) int cd1 = 0; // counter for first action (env_model = 2) int cd2 = 0; // counter for second action (env_model = 2) int env2[2]; // periods of action repetitions (env_model = 2) float env3[2]; // probabilities of rewards for each action (env_model = 3) float env4s[2]; // probabilities of switching between 2 states(env_model=4) int env4_istate; // initial state of environment (env_model = 4) int env4_state; // current state of environment: one or two (env_model ...